Active Perception Learning System Based on Actor-Q Architecture

あらまし Q-learning と Actor-Critic アーキテクチャ の Actor を組み合わせた Actor-Q アーキテクチャと それを用いた能動認識学習システムを提案する.Actor-Q アーキテクチャは,システムの出力を,離散的な意思 である「行動」と連続値である「動作」に区別し,まず,Q値を用いて「行動」を決定し,その「行動」が「動作」 を伴う場合には,さらに,該当する Actor の出力にしたがって「動作」を行う.そして,Q値は,Q-learning で学習し,Actor は,その「行動」に対応するQ値を Criticの出力として学習を行なう. ここでは,センサの移動および各パターンであるという認識の結論を下すことを行動とし,それぞれに Q値を割 り当てる.そして,センサの移動が選択された際は,Actor の出力にしたがってセンサを移動する.認識が選択 された場合は,対応するパターンであるという認識結果を出力し,正解不正解を表す強化信号によって該当する Q値を学習する.Q値計算部および Actor はともにニューラルネットで構成し,視覚センサ信号を入力とする. これによって,従来の能動認識学習システムの問題点,(1)認識に対する評価値の極大値にセンサがトラップさ れること,(2)各時間ステップごとに認識出力を評価し,連続値の強化信号を与える必要があること,(3)認識結 果を出力するタイミングをシステム自身で判断できないの3つを解決することができる.そして,不均一なセン サセルを持つ視覚センサを用いたシミュレーションによって上記の効果を確認した. キーワード 強化学習,ニューラルネット,能動認識,Actor-Q アーキテクチャ,視点移動